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© Verfahren zur Blldanalyse. 



© Zur Bildanalyse, insbesondere zur Klassierung von Flachbaugruppen in der Elektronik, werden grSfltenteils 
optische PrUfverfahren eingesetzt. Mittels der Lasertriangulation lassen sich dreidimensionale HiJhenbilder in 
digitalisierter Form aufnehmen. Bei der Grauwertbildverarbeitung werden dreidimensionale Daten aus zweidi- 
mensional vorliegenden Qrauwertbildern, die die Helligkeitsverteilung wiedergeben, abgeleitet. Da die dreidimen- 
sionale Bildanalyse mit Triangulation wesentliche Vorteile hat, soil die L6tstelleninspektion ebenfalls mittels 
dieses Verfahrens durchgefOhrt werden. Dazu werden von einem Testobjekt gleichzeitig dreidimensionale 
Hohenbilder und zweidimensionale Grauwertbilder in digitalisierter Form aufgenommen und PlausibilitStskontrol- 
len zwischen den beiden verschiedenartigen Bildinformationen (jeweils an korrespondierenden Orten) durchge- 
fOhrt. So kann eine aufgrund von Fehlmessungen im dreidimensionalen HShenbild nicht identifizierbare Informa- 
tion durch die korrespondierenden Informationen des zweidimensionalen Grauwertbildes ersetzt werden. 
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Die Erfindung betrifft ein Verfahren zur Bildanalyse, bei dem durch Triangulation ein dreidimensionales 
Bild aufgenommen wird. Der Dateninhalt dieses Bildes wird durch Extraktion bestimmter Bildmerkmale 
reduziert. Anhand d r xtrahierten Bildmerkmale wird ein Klassierung vorgenommen, die auf der Grundla- 
ge des Vergleiches mit einem Muster Oder idealen Oaten ein zu prUfendes Bild in verschiedene Klassen 
5 einordnet. Die verschiedenen Klassen sind stellvertretend fUr beispielsweise die Obereinstimmung des 
PrUflings mit einem Muster bzw. der Fehlerfreiheit des PrUflings Oder fUr das Vorliegen eines bestimmten 
Fehlers. 

Die industrielle Me/3- und PrUftechnik mufl aufgrund des starken Wandets in den Montagetechnologien 
standig angepa/Jt werden. Dabei wird der Anspruch auf hone Flexibility bei gleichzeitig steigendem 

10 Automatisierungsgrad erhoben. Hierzu werden neue PrUfmethoden und PrUfstrategien entwickelt. Visueile 
PrUfungen durch den Menschen scheiden dabei aufgrund der begrenzten PrOfsicherheit und aufgrund des 
personellen Aufwands zunehmend aus. In der Automatisierung der Verfahren gewinnt dabei die RUckkoppe- 
lung der PrUfdaten zur Regelung beispielsweise der Fertigungsprozesse zunehmond an Bedeutung. Das 
erklarte Ziel dabei ist eine ganzheitliche Betrachtung aller aufeinander wirkenden Prozesse, sowie ihre 

75 Wechselbeziehungen untereinander bis zum Endprodukt hin zu verfolgen. 

Insbesondere bei der Herstellung von bestilckten Leiterptatten, sogenannten Flachbaugruppen, sind 
PrUfverfahren erforderlich, die komplexe Aufgaben bei gleichzeitig flexiblem Einsatz bewaltigen mOssen. 
Die Anforderungen bestehen insbesondere in einer sicheren Erkennung aller vorkommenden Fehler, in einer 
hohen PrOfgeschwindigkeit, sowie in einer automatischen Generierung von PrUfprogrammen. FUr eine 

20 sichere Erkennung ist ein hohes Auflosevermogen optisch arbeitender PrUfverfahren notwendig. Eine hone 
PrUfgeschwindigkeit ermoglicht die Synchronisierung der PrUfung mit den vorgeschatteten Fertigungsver- 
fahren. Eine automatische Generierung von PrUfprogrammen kann beispielsweise auf der Grundlage von 
CAD-CAM-Daten geschehen. 

Als visueile und automatisierbare PrUfverfahren kommen prinzipieil die optische Graubildverarbeitung, 

25 die optische 3D-Sensorik mit Laser-Scanner, die Rontgentechnik und die thermische Laserimpuls-lnfrarot- 
methode in Frage. Dabei hat jedes Verfahren fUr sich besondere Vorteile. Trotzdem st50t beispielsweise die 
Grauwertbildverarbeitung bei wechselnden LichtintensitMten am zu prUfenden Objekt bei einem Dynamikbe- 
reich von 1:500 an ihre Grenzen. 

Die in der Fertigung von Flachbaugruppen Uberwiegend eingesetzte optische 3D-Sensorik ermoglicht 

30 die direkte Bestimmung der Oberflachenkoordinaten einer Vielzahl von Punkten auf der OberflSche einer 
Flachbaugruppe. Das hierzu verwendete Verfahren der Triangulation basiert auf der diffusen Reflexion eines 
Lichtstrahles. Die besonderen Vorteile dieses Verfahrens sind die weitreichenden Aussagen bezUglich der 
Form, der Position und der rMumlichen Orientierung der BestUckkomponenten auf einer Flachbaugruppe. 
Man erhalt hier ein dreidimensionales Rasterbild. Neben einer zuverlassigen und kontrastunabhangigen 

35 Trennung der BestUckkomponenten vom Hintergrund der Leiterplatte erlaubt ein dreidimensionales Bild 
dieser Art die Ableitung von globalen geometrischen Daten, die zur Reduzierung der Bilddaten durch 
Extraktion bestimmter Bildmerkmale herangezogen werden konnen. Hier sind Maxima, Volumina, Form und 
Neigung von Oberflachen zu nennen. Da bei einer Flachbaugruppe, die mit verschiedensten elektronischen 
Bauelementen bestUckt ist, nicht nur die Bauelemente ansich, sondern auch die Lotstellen geprUft werden 

40 sollen, muS erneut die Sicherheit des Verfahrens bei der Bearbeitung von teilweise reflektierenden 
OberflSchen betrachtet werden. In diesem Zusammenhang ist es bekannt, die 3D-Bildaufnahme mittels 
Triangulation durch die Aufnahme eines Grauwertes mittels einer Fotodiode zu unterstUtzen, wobei im 
Stand der Technik jedoch lediglich eine Nachregelung des Meflstrahles (Laserstrahl) fUr jeden aktuell 
abgetasteten Punkt vorgenommen wird. 

45 Der Erfindung liegt die Aufgabe zugrunde, die Erkennungssicherheit bei der Bildanalyse mittels 
dreidimensionaler Bildaufnahme zu erhbhen, damit auch reflektierende Oberflachen mit hoher Sicherheit 
geprUft und klassiert werden konnen. 

Die Losung dieser Aufgabe wird durch die Merkmale des Anspruches 1 wiedergegeben. 

Der Erfindung liegt die Erkenntnis zugrunde, dafi die Erkennungssicherheit bei der Bildanalyse, deren 

so Bildaufnahme auf der Triangulation basiert und die eine Klassierung anhand von extrahierten Bildmerkmalen 
durchfUhrt, durch die gleichzeitige Verarbeitung von Bildmerkmalen aus dem Grauwertbild wesentlich 
erhflht werden kann. Hierbei wird neben den Bildmerkmalen aus dem Hflhenbild zusMtzlich aus dem 
Grauwertbild eine bestimmte Anzahl von Bildmerkmalen extrahiert und die Summe aller Bildmerkmale zur 
Klassi rung ines Bildes herang zog n. Somit lass n sich bestimmt T il eines PrUflings, di aus d m 

55 aufgenommen n Hohenbild nicht indeutig zu identifizieren sind, mittels der zusStzlich auswertbaren 
Bildmerkmale ableiten. 

Es ist besonders vorteilhaft. die aus d m Grauw rtbild extrahierten Bildmerkmale zu iner PlausibilitSts- 
prUfung heranzuziehen. Die fUr einen bestimmten Punkt Oder Bereich aus dem Hohenbild zu ntnehmende 

2 



.icnnriri' ^co n^nopii i ^ 



EP0 471 196 A2 



Information in Form eines Bildmerkmales wird mit der korr spondierenden, d. h. auf den gteichen Ort 
bezogenen Information aus dem Grauwertbild verglichen. Dieser Vergleich erhBht die MeBsicherheit durch 
die Ausschaltung von F hlint rpr tationen aus lediglich einem Bild, dem Hohenbild Oder dem Grauwertbild. 
Da korrespondierende Bildmerkmale aus dem Hohenbild und dem Grauwertbild logischerweise die gleichen 

5 Teile der Oberflache wiedergeben, mufi die Aussage aus jedem der beiden Bilder korrelieren. 

Zur Ausschaltung von nachteiligen Reflexionen auf einem zu prUfenden Objekt konnen die Reflektions- 
eigenschaften des Objektes durch eine Betauung einheitlich vermindert werden. Hierzu wird in einfacher 
Weise zerstaubtes Wasser mit einem Luftstrom yerdunstet und auf die aktuell geprOfte Stelle geleitet, wobei 
durch die ProzeflfUhrung oder -Regelung eine Betauung, d. h. eine Kondensation des Wassers auf der 

10 Oberflache des Objektes erzielt wird. 

Eine weitere Ausgestaltung der Erfindung erhoht ebenfalls die Erkennungssicherheit und besteht aus 
der Messung durch Triangulation aus zwei gegenUberliegenden Seiten oder Richtungen bezOglich des 
gleichen zu messenden Punktes. Diese Anordnung ist zweckmSfligerweise spiegelsymmetrisch zu einem 
messenden Lichtstrahl, der in der Regel senkrecht auf der Objektoberflache stent, ausgebildet. Hierdurch 

is werden Abschattungen, die durch Kanten bei einseitiger Detektion der 3D-H6hendaten auftauchen, vermie- 
den. 

Im folgenden wird anhand der schematischen Figur ein AusfUhrungsbeispiel beschrieben. 
Die Figur zeigt einen X/Y-Tisch 2 mit verschiedenartigen Testobjekten 1. Mittels der Ansteuerung 16 
des X/Y-Tisches 2 ist dieser rasterartig verfahrbar und das gesamte System kennt gleichzeitig die X, Y- 

20 Koordinaten des aktuell zu prOfenden Fensters auf einer Flachbaugruppe. In der Regel wird fQr das 
Anwendungsgebiet der Bildanalyse und der PrUfung an elektronischen Flachbaugruppen die Triangulation 
mittels eines Lasers durchgefOhrt. In der Figur wird zur Erzeugung des Laserstrahles 10 der Laser 11 
eingesetzt, wobei ein Modulator 9 und ein Schwingspiegel 8. sowie ein Scan-Objektiv 3 nachgeschaltet 
sind. Die Fenster werden rasterartig auf der Flachbaugruppe verschoben und innerhalb eines momentan 

25 feststehenden Fensters wird jeweils durch den abgelenkten Laserstrahl 10 eine hohe Anzahl von Bildpunk- 
ten bzw. OberflMchenpunkten scannend aufgenommen. Die Bildaufnahme geschieht Uber positionsempfind- 
liche Detektoren, sogenannte Positionssensoren 7, 71. Die am Testobjekt 1 diffus gestreute Strahlung wird 
Uber Objektive 4, 41 auf die Positionssensoren 7, 71 geleitet, die ihrerseits nach optoelektronischer 
Wandlung ein elektrisches Signal an eine Sensorkopplung 13 weitergeben. Diese Sensorkopplung 13 fOhrt 

30 gleichzeitig die Digitalisierung der Signale durch. 

Wie in der Figur dargestellt ist die Anordnung der Positionssensoren zweifach ausgefOhrt, so dafl 
Abschattungen durch Bauteilkanten auf dem Testobjekt nicht zu Fehlmessungen fUhren. Die Betauung 18 
ist durch Pfeile angedeutet. Zweckmafligerweise ist sie mit dem apparativen Aufbau der Lasertriangulations- 
einheit verbunden, so dafl nur das aktuell abgetastete Fenster auf der Flachbaugruppe betaut wird. 

35 Uber zwei Strahlteiler 5, 51 kann ein Teil des reflektierten Lichtes auf die Fotodetektoren 6, 61 geleitet 
werden. Nach optoelektronischen Wandlung wird das daraus erhaltene Signal auf den Regler 12 gefUhrt, 
der den Modulator 9 entsprechend regelt. Gleichzeitig sind der Regler 12 und der Schwingspiegel 8 direkt 
mit der Ablaufsteuerung 15 verbunden. 

Die Organisation der Koordinaten wird durch die Koordinatenauswertung 14 vorgenommen. Die Daten 

40 der Ablaufsteuerung 15, der Koordinatenauswertung 14 und der Ansteuerung 16 des X/Y-Tisches werden 
insgesamt Dber ein Interface 17 einem Rechner zugefUhrt, 

Zur nSheren ErlSuterung des erfindungsgemaflen Verfahrens werden nochmals die einzelnen Verfah- 
rensschritte in ihrer Reihenfolge aufgefOhrt: 

Ein Testobjekt 1 wird mittels der Lasertriangulation unter Einsatz eines Scanners abgetastet, bildhaft 
45 aufgenommen und gespeichert Zu diesem Zeitpunkt liegen die digitalen Bilddaten in Form eines Hohenbil- 
des und in Form eines Grauwertbildes vor. Gleichzeitig ist der Zugriff auf CAD/CAM-Daten moglich. An 
dieser Stelle konnen bereits Plausibilitatskontrollen zwischen dem dreidimensionalen Hohenbild und dem 
zweidimensionalen Grauwertbild erfolgen. Nach der Extraktion der Bildmerkmale werden ebenfalls Plausibili- 
tStsvergleiche zwischen den beiden Bildern angestellt, die sich jetzt jedoch auf konkrete Bildinhalte 
so beziehen. Im nachsten Schritt wird die endgUltige Analyse mit der Verkettung der verschiedenen Bilderken- 
nungsoperationen durchgefOhrt. Dabei kann beispielsweise die Darstellung einer gleichbleibenden HGhe 
oder einer unterschiedlichen OberflSchenstruktur im dreidimensionalen HShenbild unter UmstSnden nicht 
aufgrund der aufgenommenen Mefldaten durchgefOhrt werden. Hierzu dienen die zusStzlich gleichzeitig 
aufgenomm nen und auch gleichzeitig mitverarb itet n zweidim nsionalen Aussagen aus dem Grauwert- 
55 bild. Somit kSnnen F hlinformationen herausgefiltert werden. Diese Form der Bildanalyse, die auf Grauwert- 
und Hon ninformationen aufbaut und mit globalen Mustererkennungsoperationen verbunden ist, stOtzt sich 
demnach auf eine assoziative Auswertung. 

Somit kann neben der bisher durch Lasertriangulationsv rfahren mit gutem Ergebnis durchgefUhrten 
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BestOckungsprUfung auch die PrQfung von LOtstellen auf einer bestUckten Leiterptatte mit hoher Erken- 
nungsgenauigkeit von Fehlern und geringer Alarmrate (Fehlermeldung bei ansich guten L5tstellen) durchge- 
fuhrt werden. 

Zu erkennen sind beispielsweise: 
5 - Lotbrucken 

- AnschluB nicht sichtbar 

- AnschluB nicht benetzt 

- Lotumflie/iung unvollstSndig 

- Lotzapfen gr80er als vorgegeben 
10 - Lotkugel oder Lotperle 

- AusblSser 

Es kdnnen prinzipiell Lotstellen an bedrahteten Bauefementen, an schwallgo!5teten OberflSchenbauele- 
menten (SMD) und an reflow-gelSteten SMDs geprGft werden. Eine zusStzliche Erkennungsoperation ist 
dabei die Bestimmung der Oberflacheneigenschaften eines Testobjektes 1. Defekte wie beispielsweise ein 
15 fehterhaft hochstehendes Bauelement (Tombstoneeffekt) werden zuverlMssig erkannt. 

Der Dynamikbereich eines beschriebenen Verfahrens ist mit Sicherheit grower als 1 :2000. Dies beruht 
auf den Ma/Jnahmen, die zur Reduzierung von St6r- und Mehrfachreflexionen getroffen wurden. 

Eine Einbindung des Verfahrens in den Material- und lnformationsflu/3 der Fertigung erfolgt Ober 
geeignete Kommunikationsschnittstellen Stehen beispielsweise keine CAD- Date n zur VerfUgung, so kann 
20 auch auf Musterbaugruppen zurllckgegriffen werden, deren Daten im "Teach-ln-Verfahren" an das Bilder- 
kennungssystem Ubertragen werden. 

Technische Daten eines Bilderkennungsautomaten: 



25 
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Flachbaugruppe im Europaf ormat : 

Gesamtinhalt der aufgenommenen Information 15 MByte 

reduzierter Inhalt der Prufinf ormation 20 kByte 

Sensorauflbsung 70 pm 

Gesamtprufzeit 30 sek 



35 digitalisierte Hbhen- und Grauwertdaten 8 Bit 

Abtastrate 200 kHz 

Erkennungssicherheit groBer 96 % 

Fehlmeldungen kleiner 0,3 % 
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(3000 ppm) 



45 Patentanspruche 

1. Verfahren zur Bildanalyse eines mittels Triangulation dreidimensional aufgenommenen und digitalisier- 
ten H6henbildes unter Verwendung einer anhand von extrahierten Bildmerkmalen durchgefQhrten 
Klassierung, insbesondere zur visuellen automatischen Inspektion von Lotstellen an bestUckten Leiter- 

50 platten, wobei gleichzeitig ein zweidimensionales Grauwertbild in digitalisierter Form aufgenommen wird 
und fUr jeden zu verarbeitenden Bildpunkt die korrespondierenden Werte des HOhenbildes und des 
Grauwertbildes gleichzeitig in die Extraktion der Bildmerkmale eingehen. 

2. V rfahren nach Anspruch 1, dadurch gek nnzelchn t, dafl aus dem Grauw rtbild extrahierte Bild- 
55 merkmale zur PrUfung der PlausibilitSt in Bezug auf korrespondierende Bildmerkmale aus d m 

Hon nbild ingesetzt werden. 

3. Verfahr n nach ein m der vorhergehenden AnsprUche, dadurch gekennzelchn t, da0 mittels ein r 

4 



jsnnnin- <fp 047 mora? i > 



EP0 471 196 A2 



Betauungseinrichtung ein zu prtlfendes Objekt zur VergleichmSfligung der Reflektionsefgenschaften 
oberflSchlich betaut wird. 

Verfahren nach Anspruch 3, dadurch gekennzeichnet, daJS zur Betauung ein nahezu wassergesSttig- 
ter Luftstrom verwendet wird. 

Verfahren nach einem der vorhergehenden AnsprUche, dadurch gekennzeichnet, da0 die Bildaufnah- 
me mittels Triangulation zweifach und spiegelsymmetrisch in Bezug auf einen messenden Lichtstrahl 
ausgebildet ist. 
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© Zur Bildanalyse, insbesondere zur Klassierung 
von Flachbaugruppen in der Elektronik, werden 
grSStenteils optische PrUfverfahren eingesetzt. Mit- 
tels der Lasertriangulation lassen sich dreidimensio- 
nale Hohenbilder in digitalisierter Form aufnehmen. 
Bei der Grauwertbildverarbeitung werden dreidimen- 
sionale Daten aus zweidimensional vorliegenden 
Grauwertbildern, die die Helligkeitsverteilung wieder- 
geben, abgeleitet. Da die dreidimensionale Bildana- 
lyse mit Triangulation wesentliche Vorteile hat, soil 
die Lotstelleninspektion ebenfalls mittels dieses Ver- 
fahrens durchgefOhrt werden. Dazu werden von ei- 
nem Testobjekt gleichzeitig dreidimensionale Hohen- 
bilder und zweidimensionale Grauwertbilder in digita- 
lisierter Form aufgenommen und Plausibilitatskon- 
trollen zwischen den beiden verschiedenartigen Bild- 
informationen fleweils an korrespondierenden Orten) 
durchgefOhrt. So kann eine aufgrund von Fehlmes- 
sungen im dreidimensionalen Hohenbild nicht identi- 
fizierbar Information durch die korrespondierenden 
tnformationen des zweidimensionalen Grauwertbildes 
ersetzt werd n. 
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